差异减少（VR）技术已经显着贡献，以便在光滑且强凸的设置中加速大规模数据集（Schmidt等，2017; Johnson＆Zhang，2013; Roux等，2012）。然而，由于各种因素，例如使用数据增强或正规化方法等各种因素，这种技术尚未达到相同的成功，例如诸如辍学的数据增强或正则化方法（Defazio＆Bottou，2019）。这一挑战最近促使设计了新型方差减少技术，明确定制了深度学习（Arnold等，2019; Ma＆Yarats，2018）。这项工作是沿着这个方向的额外步骤。特别是，我们利用深度学习中使用的丰富数据集的无处不在的聚类结构来设计一个可扩展的差异，通过将现有的优化器（例如，SGD +动量，准双曲线动量，隐性梯度传输，多动力组合来减少优化程序策略（袁等人。，2019）。我们的提议导致在标准基准数据集（例如，CiFar和Imagenet）上的Vanilla方法更快。它是标签噪声并适用于分布式优化是强大的。我们在JAX中提供了平行实现。
translated by 谷歌翻译
The monograph summarizes and analyzes the current state of development of computer and mathematical simulation and modeling, the automation of management processes, the use of information technologies in education, the design of information systems and software complexes, the development of computer telecommunication networks and technologies most areas that are united by the term Industry 4.0
translated by 谷歌翻译
我们介绍了Equivariant卷积算法的框架，该算法是针对具有任意SU（$ d $）对称性的物理系统的许多机器学习任务而定制的。它使我们能够增强量子计算的自然模型 - 渗透量子计算（PQC）[量子INF。Comput。，10，470-497（2010）] - 并定义了一个更强大的模型：PQC+。虽然PQC被证明是有效的经典模拟，但我们表现出一个可以在PQC+机器上有效解决的问题，而最著名的经典算法则以$ O（N！n^2）$时间运行，从而提供了强有力的证据，从而提供了反对PQC+的证据。经典的模拟。我们进一步讨论可以在PQC+范式中执行的实用量子机学习算法。
translated by 谷歌翻译
我们为$ S_N $-Quivariant Quantum卷积电路，建立并大大概括了Jordan的置力量子计算（PQC）形式主义的理论框架。我们表明量子电路是傅里叶空间神经架构的自然选择，其在计算$ S_N $ -Fourier系数的矩阵元素中，与在对称组上的最佳已知的经典快速傅里叶变换（FFT）相比计算的超级指数加速。特别是，我们利用Okounkov-Vershik方法来证明Harrow的陈述（Ph.D.论文2005 P.160）在$ \ OperatorName {su}（d）$ - 和$ s_n $-frirep基地之间并建立$ s_n $-arequivariant卷积量子交替使用年轻Jucys-Murphy（YJM）元素的ans {\“a} tze（$ s_n $ -cqa）。我们证明了$ s_n $ -cqa是密集的，因此在每美元内表达S_N $-Frirep块，其可以作为潜在的未来量子机器学习和优化应用成为普遍模型。我们的方法提供了另一种方法来证明量子近似优化算法（QAOA）的普遍性，从表示理论的角度来看。我们的框架可以自然地应用于全局$ \ Operatorname {su}（d）$对称性的各种问题。我们展示了数值模拟以展示ANS {\“A} TEE的有效性，以找到标志结构$ j_1 $ - $ j_2 $反铁磁性Heisenberg模型在矩形和矩形状态Kagome格子。我们的工作确定了特定机器学习问题的量子优势，并提供了庆祝的Okounkov-Vershik的表示理论的第一次应用于机器学习和量子物理学。
translated by 谷歌翻译